Evaluation in Natural Language Generation: Lessons from Referring Expression Generation

As one of the most well-defined subtasks in Natural Language Generation (NLG), the generation of referring expressions looks like a strong candidate for piloting shared evaluation tasks. Different to other areas of Natural Language Processing, it is still unclear what benefit the introduction of such tasks might have for the field of NLG. Based on an earlier evaluation of a number of well-established algorithms for the generation of referring expressions, this paper explores several problems that arise in designing evaluation for this task, and identifies general considerations that need to be met in evaluating Natural Language Generation subtasks. RÉSUMÉ. La génération d’expressions référentielles, une des sous-tâche de la génération automatique de textes les mieux définies, apparaît comme une candidate sérieuse pour la mise en place de tâches d’évaluation partagée, dans un domaine du traitement automatique des langues où la question de l’intérêt de ces tâches reste ouverte. Sur la base des résultats d’une évaluation de certains des principaux algorithmes connus de génération d’expressions référentielles, cet article explore plusieurs problèmes posés par l’évaluation et présente quelques considérations d’ordre général à prendre en compte lors de l’évaluation des sous-tâches de la génération automatique de textes.